package com.worms.crawler.api;


import com.kl.modular.worm.dao.model.WormGrabedPage;
import com.kl.modular.worm.dao.model.WormPendPage;
import com.worms.crawler.model.CrawlerParam;

import java.util.List;

/**
 * 默认爬虫的接口
 *
 * @author staywood
 * @date 2018/04/04 14:27
 *
 */
public interface IDefaultCrawler{

    /**
     * 初始化
     */
    void init();

    /**
     * 抓取执行
     */
    void execute();

    /**
     * 获取待抓取url列表
     */
    List<WormPendPage> getPendListUrlPage();

    /**
     * 新增待抓取列表
     */
    void addGrabList(List<String> newGrabList, int maxNum);

    /**
     * 新增已抓取列表
     */
    void addGrabedPageUrl(String url);

    /**
     * 新增起始页
     */
    void addHomePage(String homePageurl);


    /**
     * 新增正则匹配url
     */
    void addRegular(String regular);


    /**
     * 新增匹配种子规则
     */
    void addSeed(String seed);
}
